بهبود یادگیری شبکه عصبی تپشی به کمک تند ترین کاهش گرادیانی بهبود یافته با تانژانت موازی و استفاده از نرخ یادگیری خود انطباقی پویا
پایان نامه
- وزارت علوم، تحقیقات و فناوری - دانشگاه اصفهان - پژوهشکده فنی و مهندسی
- نویسنده حسین خرم ابادی ارانی
- استاد راهنما پیمان معلم کمال شاه طالبی
- تعداد صفحات: ۱۵ صفحه ی اول
- سال انتشار 1391
چکیده
شبکه ی عصبی تپشی نوع خاصی از شبکه های عصبی می باشد که داده های ورودی و خروجی آن از جنس زمان است. این شبکه ها برای مدل سازی دقیـق تر نرون های واقعی و رفتار آن ها ایجاد شده اند. در این پژوهش مسئله ی یادگیری در شبکه های عصبی تپشی مورد بررسی قرار گرفته است. نرخ همگرایی پایین و نیز کندی سرعت یادگیری از جمله مشکلاتی است که تاکنون شبکه های عصبی تپشی با آن مواجه بوده است؛ این در حالی است که به دلیل وجود ماهیت زمانی در این شبکه ها، هزینه ی محاسباتی این شبکه ها به خودی خود بسیار بیشتر از شبکه های سیگموئیدی متعارف می باشد. در آخرین تحقیقات و پژوهش های انجام شده در مورد یادگیری در شبکه های عصبی تپشی، از الگوریتم "تندترین کاهش گرادیانی بهبود یافته با مومنتوم با نرخ یادگیری خود انطباقی پویا" استفاده شده است. در همین راستا، در این پژوهش با هدف ایجاد بهینه سازی هایی در نرخ و سرعت همگرایی شبکه عصبی تپشی، از روش "تندترین کاهش گرادیانی بهبود یافته با تانژانت موازی با نرخ یادگیری خود انطباقی پویا" استفاده شده است. آزمون های xor، توازن، چرخش، کدکننده-کدبردار و ایریس به سه روش "تندترین کاهش گرادیانی با نرخ یادگیری خود انطباقی پویا"، "تندترین کاهش گرادیانی با نرخ یادگیری خود انطباقی پویا همراه با بخش مومنتوم" و روش پیشنهادی یعنی "تندترین کاهش گرادیانی بهبود یافته با تانژانت موازی با نرخ یادگیری خود انطباقی پویا" در دو حالت "شبکه عصبی تک تپشی" و "شبکه عصبی چند تپشی" اجرا شده است. همچنین برای هر یک از آزمون ها، در شرایط یکسان مقایسه ای بین یادگیری در شبکه عصبی چند تپشی و شبکه عصبی تک تپشی به روش تندترین کاهش گرادیانی با نرخ یادگیری ثابت انجام شده است. نتایج بدست آمده نشان می دهد که در همه ی آزمون ها روش تندترین کاهش گرادیانی بهبود یافته با تانژانت موازی با نرخ یادگیری خود انطباقی پویا، بیشترین درصد همگریی را به خود اختصاص داده است. پس از آن روش تندترین کاهش گرادیانی بهبود یافته با مومنتوم با نرخ یادگیری خود انطباقی پویا قرار دارد و روش تندترین کاهش گرادیانی با نرخ یادگیری خود انطباقی پویا کمترین نرخ همگرایی را دارد. روش پیشنهادی در حالی بیشترین درصد همگرایی را به خود اختصاص داده است که در مقایسه با دو روش دیگر، دارای هزینه محاسباتی کمتری است. همچنین نتایج بدست آمده نشان می دهد که در شرایط یکسان در صد همگرایی شبکه ی عصبی چند تپشی بیشتر از شبکه ی عصبی تک تپشی است؛ اما هزینه ی محاسباتی شبکه ی چند تپشی بیشتر از شبکه ی تک تپشی است، بنابراین مصالحه ای بین درصد همگرایی و هزینه ی محاسباتی در این دو نوع شبکه برقرار است.
منابع مشابه
محیطهای یادگیری مجازی، امکانی برای کمک به بهبود فرهنگ یادگیری
فرهنگ یادگیری مفهوم تازهای است که در دهههای اخیر وارد ادبیات آموزشی شده است. با توجه به این مفهوم کلیه عناصر برنامه درسی، رفتارهای آموزشی معلم و یادگیرنده که در یک محیط یادگیری با یکدیگر تعامل پیدا میکنند، از بستر فرهنگی آن محیط تأثیر میپذیرند. با توسعه فاوا و ظهور جوامع اطلاعاتی مهارتهایی مانند یادگیری مستقل و مادامالعمر، یادگیری خودانگیخته، خودرهیاب و کسب مهارتهای حل مسئله، برنامهریزی...
متن کاملاستفاده از یادگیری همبستگی منفی در بهبود کارایی ترکیب شبکه های عصبی
This paper investigates the effect of diversity caused by Negative Correlation Learning(NCL) in the combination of neural classifiers and presents an efficient way to improve combining performance. Decision Templates and Averaging, as two non-trainable combining methods and Stacked Generalization as a trainable combiner are investigated in our experiments . Utilizing NCL for diversifying the ba...
متن کاملبهبود یادگیری رفتار روبات سیار دارای خطا در سنسورهای آن با استفاده از شبکه بیزین
In this paper a new structure based on Bayesian networks is presented to improve mobile robot behavior, in which there exist faulty robot sensors. If a robot likes to follow certain behavior in the environment to reach its goal, it must be capable of making inference and mapping based on prior knowledge and also should be capable of understanding its reactions on the environment over time. Old ...
متن کاملتخمین عملکرد کمی و کیفی نیشکر با استفاده از شبکه فازی- عصبی تطبیقی بهبود یافته با الگوریتم بهینهسازی ازدحام ذرات
متغیرهای مختلفی بر عملکرد مزارع نیشکر تأثیرگذارند. با بررسی این متغیرها و تعیین میزان اثر هر یک از آنها میتوان به راهکارهایی بهمنظور افزایش بهرهوری مزارع نیشکر دست یافت. امروزه استفاده از یافتههای هوش مصنوعی و داده کاوی برای کمک به پیشبینی تولید محصول مورد توجه قرار گرفته است. هدف از این مقاله، معرفی روش هوشمند سیستم استنتاج فازی- عصبی تطبیقی و ترکیب این تکنیک با الگوریتم بهینهس...
متن کاملبهبود عملکرد الگوریتم خوشهیابی خودکار تصاویر رنگی به کمک پیشپردازش با شبکه عصبی خودسامانده (SOM)
با توجه به کاربرد فراوان مسئله خوشهیابی دادهها بهعنوان یکی از مسائل مهم در مبحث بازشناسی الگو، زمینههای تحقیقاتی متنوعی از جمله خوشهیابی تصاویر به این موضوع اختصاص یافته است. اکثر روشهای مطرحشده برای حل مسئله خوشهیابی تصاویر، مبتنی بر الگوریتمهای هوشجمعی میباشد. با توجه به حجم بالای داده ورودی در این الگوریتمها (برابر تعداد پیکسلهای تصویر)، زمان محاسباتی زیادی صرف حل مسئله میشود ب...
متن کاملمنابع من
با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید
ذخیره در منابع من قبلا به منابع من ذحیره شده{@ msg_add @}
نوع سند: پایان نامه
وزارت علوم، تحقیقات و فناوری - دانشگاه اصفهان - پژوهشکده فنی و مهندسی
میزبانی شده توسط پلتفرم ابری doprax.com
copyright © 2015-2023